Der Umgang mit Hass und Gewalt im Netz ist ein weites Feld. Wie bekämpfen wir Ursachen? Wie schützen wir Opfer? Was soll mit all den diffamierenden und grenzüberschreitenden Inhalten passieren, die im Zuge von Hasskampagnen online geteilt werden?
Keine leichten Fragen und wir als Gesellschaft fangen gerade erst an, uns mit den Antworten auseinanderzusetzen. Das gilt auch für die Rechtsprechung, die in Anbetracht der neuen Formen von Gewalt eine besondere Rolle zukommt. Ihre Urteile geben für viele Streitpunkte neue Maßstäbe vor.
Leider scheinen die Gerichte sich ihrer Rolle im Kampf gegen digitale Gewalt noch nicht bewusst zu sein. In wichtigen Klagen werden teils nicht nachvollziehbare Urteile gefällt die falschen Signale an andere Opfer in gleichen Situationen gesendet. Das Urteil des Berliner Landesgerichtes im Fall Renate Künast, das fragwürde Grenzen zwischen Meinungsfreiheit und persönlichen Beleidigungen zog [1], erscheint als neueste Episode in dieser Reihe.
EuGH eilt zur Hilfe?
Anfang Oktober dann scheinbar ein Lichtblick: Der Europäische Gerichtshof urteilt im Fall Eva Glawischnig-Piesczek gegen Facebook [2][3], dass die Plattform einen hetzerischen Post löschen muss. Nicht nur in einem spezifischen Land verstecken, sondern weltweit löschen.
Das Urteil geht sogar noch einen Schritt weiter. Das Gericht weiß um den spezifischen Charakter des Teilens auf den sozialen Plattformen und will der Verbreitung illegaler Inhalte zuvorkommen. Facebook soll auch Posts, die mit dem Originalpost identisch sind, löschen, unabhängig von der Autor*in. Und weiter: Gelöscht werden sollen auch Posts, deren Inhalt dem Originalpost inhaltlich ähnlich sind (im englischen Urteil wird hier zwischen "identical" und "equivalent" unterschieden). Auf den ersten Blick ein durchaus sinnvolles und zeitgemäßes Urteil.
Doch gerade bei den inhaltlich ähnlichen Posts gibt es einen interessanten Haken. Die Betreiber*innen von Plattformen könnten nicht für rechtswidrige Inhalte belangt werden, solange sie nicht von deren Illegalität wissen und Inhalte sofort entfernen, sobald sie über die Illegalität informiert werden. Das ist Teil der "Directive on electronic commerce", die wirtschaftliche Interessen von online Plattformen im Fokus hat. Dem entsprechend kann das Gericht nicht festlegen, dass Plattformbetreiber*innen alle ihre Inhalte konstant überwachen oder nach illegalen Inhalten suchen müssen. De facto bedeutet das, dass Facebook erst, wenn ein Post als illegal eingestuft wird, nach gleichen oder inhaltlich gleichen Posts suchen soll, um diese zu löschen. In der Blütezeit von "lernenden Maschinen" und "künstlicher Intelligenz" schreibt der EuGH, dass Plattformbetreiber*innen zu automatisierten Suchwerkzeugen und -technologien greifen können, um nach diesen Posts zu suchen. Das ist realistisch gedacht, denn sicherlich wird kein Mensch sich manuell auf die Suche begeben.
Das Problem mit "intelligenten" Werkzeugen und den Interessen dahinter
Aus dem Problem mit Hassrede ist jetzt auch ein Problem mit "künstlicher Intelligenz" geworden. Ein Problem, für das wir noch keinen erfolgreichen Umgang gefunden haben, soll jetzt durch eine Technologie, die noch nicht ausgereift ist, entschärft werden.
Gerade im Bereich der natürlichen Sprache müssen Maschinen noch eine ganze Menge lernen, bis sie feine Nuancen wie Ironie erkennen können. Innerhalb dieses Feldes ist das automatisierte Erkennen von Hassrede eines der komplexesten Anwendungsgebiete und steckt noch in den Kinderschuhen.
Im Fall von Hassrede müssen Maschinen anhand von Beispielen lernen. Jemand muss sagen: "Das ist Hass und das nicht. Das ist das gleiche wie das, und das ist etwas anderes." Menschen spielen eine wesentliche Rolle im Training der Maschine, gerade bei der Beurteilung von so menschlichen Dingen wie Sprache. Und wie immer gilt: Man bekommt das raus, was man rein gibt. Input ist gleich Output. Die Wahrnehmung der Trainer*in und ihre Erfahrungen und Vorurteile fließen in die Modelle der KI ein. Wann ist ein Post inhaltlich einem anderen ähnlich? Wann ist es ein sarkastischer Kommentar, der Inhalte aufgreift aber etwas anderes meint? Wie zieht man Grenzen? Wie zieht die Maschine Grenzen?
Wird ein Modell nur auf rassistische Begriffe und Beleidigungen trainiert, wird es das Spektrum der antisemitischen oder homo- oder transfeindlichen Inhalten nicht erkennen können. Fehler in der automatisierten Erkennung können schwerwiegende Folgen für Menschen auf den Plattformen haben!
Dazu kommt, dass sich die sozialen Gigant*innen ungern in die Karten sehen lassen, was ihre Algorithmen und Datenmodelle angeht. Unabsichtliche Fehler aufgrund mangelnder Erfahrung im Bereich KI sind die eine Sache; welche Art von absichtlichen "Fehlern" eingebaut werden könnten, um andere Interessen der Plattformen zu unterstützen, eine andere. Zu oft schon kommt es zu fragwürdigem Herausfiltern oder Abstufen von ungewünschten Inhalten bei verschiedenen Anbieter*innen. Beispielhaft sind Tumblrs Bann von "Adult content" [4], der unter anderem viele queere Communities getroffen hat, oder YouTubes Demonitarisierungs-Strategie für LGBTQIA* Videos [5]. In beiden Beispielen scannen und bewerten automatisierte Tools alle Inhalte, nicht nur die von Nutzer*innen gemeldeten. Nicht weil es Gesetze so wollen, sondern weil die Plattformen sich diese Regeln selbst ausgedacht haben, um die Inhalte zu erhalten, die sie wollen. Bedenken, dass das EuGH-Urteil zur willkürlichen Filterei der Plattformen beitragen wird, ist durchaus naheliegend und berechtigt.
Was soll denn schon passieren?
Ich sehe zwei konkrete Probleme bei der automatisierten Suche von inhaltlich ähnlichen Posts, denn beide haben das Silencing von Frauen, Minderheiten und ihrer Themen, quasi ihr Verschwinden aus dem öffentlichen, politischen Diskurs zur Folge.
Zum einen sitzen wieder private Firmen, die Öffentlichkeit auf ihren geschlossenen Plattformen stattfinden lassen, am längeren Hebel. Ja, sie müssen jetzt weltweit löschen, aber sie und ihre Algorithmen und KIs entscheiden, welche Inhalte ähnlich genug sind, um ebenfalls gelöscht oder nicht gelöscht zu werden. Das liegt ganz im Sinne ihrer wirtschaftlichen Interessen und geht gerade noch als legal durchgeht, das Wohl der Nutzer*innen wird beiseitegelassen. Das wird genauso intransparent ablaufen, wie wir es mit vorgeschlagenen Inhalten auf Facebook und YouTube sehen, die immer wieder unter Verdacht stehen, rechtspopulistische Stimmen zu verbreiten.
Zum anderen, und auch darauf aufbauend, werden sich die Hassgruppierungen auch die automatisierte Erkennung zu Nutzen machen. Jetzt schon wird auf vielen Plattformen das Melden von illegalen Inhalten gegenteilig, also als weiterer Mechanismus der Einschüchterung von Opfern, genutzt und um Gegenrede unsichtbar zu machen. Im nächsten Schritt könnten nicht nur einzelne Posts so markiert werden, sondern ganze, inhaltlich ähnliche Posts verschwinden. Die Moderationssysteme funktionieren jetzt schon nicht und sie werden nicht besser, wenn sie weiter nach denselben Prinzipien automatisiert werden.
Langfristig müssen wir uns von den großen wirtschaftlich orientierten Plattformen lösen, denn sie werden sich nicht ändern.
Nach den Anschlägen von Halle will nun auch die Bundesregierung schneller als geplant das Netzwerkdurchsetzungsgesetz, gegen das viel Kritik aus aktivistischen Kreisen vorgebracht wurde, reformieren und Plattformen stärker in die Pflicht nehmen. Der 9-Punkte Plan [6] ist vielleicht der erste ernsthafte Versuch der Gesetzgebung, den Opfern von Hass und Gewalt im Netz den Rücken zu stärken. Gleichzeitig verstecken sich fragwürdige Forderungen nach mehr Überwachungsmaßnahmen in dem Papier. Welche der Punkte beschlossen werden, bleibt abzuwarten
